const axios = require('axios');
const cheerio = require('cheerio');
const fs = require('fs');
// 获取->解析->存储
// 可使用 axios.get(url[, config])
const writeStream = fs.createWriteStream('test.csv');

// 写入csv首行信息
writeStream.write('时间,标题,网址 \n');
let url = 'http://www.xbmu.edu.cn/frontChannelPage.action?siteId=1&articleClassId=104';

// 获取
// axios.get(url)
//     .then(function (response) {
//         // handle success
//         // console.log(response.status);
//         // console.log(response.data);
//         // 解析
//         $ = cheerio.load(response.data);
//         // console.log($('title').text());
//         $('#container div.list_right_main li a').each((index, element) => {
//             const newsDate = $(element).prev().text();
//             const item = $(element).text();
//             const link = $(element).attr('href');
//             console.log(newsDate, item, link);
//             // 存储
//             writeStream.write(`${newsDate}, ${item},${link} \n`);
//         });

//     })
//     .catch(function (error) {
//         // handle error
//         console.log(error);
//     });

axios.get(url)
    .then(function (response) {
        $ = cheerio.load(response.data);
        $('#container div.list_right_main li').each((index, element) => {
            const newsDate = $(element).find('span').text();
            const item = $(element).find('a').text();
            const link = $(element).find('a').attr('href');
            console.log(newsDate, item, link);
            // 存储
            writeStream.write(`${newsDate}, ${item},${link} \n`);
        });
    })
    .catch(function (error) {
        // handle error
        console.log(error);
    });


writeStream.close();
